#LLM Benchmark

3 篇

WearableQA: A Benchmark for Health Reasoning over Real-World Wearable Data

WearableQA：面向真实可穿戴数据的健康推理基准

🧭 LLM 评估 · 健康时序推理

Meta · KAIST · Korea University

构建4084题真实可穿戴健康推理基准，覆盖16种题型，评估14个LLM准确率仅19.6%–72.9%

📌 工作参考价值（4 点）

可迁移其「数据推理 vs 健康推理」的题型划分，用于评估推荐/电商场景中 LLM 对用户长期行为序列的推理：区分简单统计聚合（如近30天购买频次、复购率）与业务语义解释（如消费力迁移、流失风险），并设计单信号与跨信号交叉问题检验多域融合能力。
dual-grounding 框架值得复用：结合领域先验规则与统计显著模式生成多选题，可避免纯模板生成的表面线索，用于构建商品属性问答、用户画像推理评测集。
保留真实数据分布（设备噪声、个体差异）的评测思路有借鉴意义：不要只用清洗后的聚合特征评测 LLM，应让模型接触原始事件序列和噪声，检验鲁棒性。
直接业务借鉴有限，但对保险/健康电商、用户运营 Agent 等涉及可穿戴信号场景，提供了一套可落地的真实数据评测模板。

Eval | 2026-09-04 | cs.CL | score 7/10

个性化幻觉：LLM 如何捏造用户画像与自我监测的误导

🧭 个性化LLM的忠实度评估与自监测缺陷

LIGHTSPEED · The Hong Kong University of Science and Technology

揭示所有大模型在个性化任务中系统性过度推理（35-49%），且自监测排名与真实忠实度负相关

📌 工作参考价值（4 点）

在电商推荐、广告定向等依赖 LLM 构建用户画像的场景，必须警惕过度推理（35%–49% 的声明是凭空捏造的），应引入独立外部验证机制（如类似 MirageBench 的评判器）而非依赖模型自报。
选择个性化模型时，不可相信模型自述的忠实度，自监测排名与真实虚构率负相关（ρ=-0.60），需建立外部测试基准评估真实过度推理率。
多轮交互中用户属性会线性累积且极少修正，可能导致画像严重偏离，在对话式推荐或 Agent 记忆系统中需加入定期“画像审计”或遗忘机制。
过度推理具有强任务依赖性（范围27%-59%），对不同业务模块（如文案生成 vs 用户标签推断）应分开评估并设置差异化阈值。

LLM | 2026-08-04 | HF Daily | score 7/10

行动前：评测LLM的前瞻假设发现能力

🧭 LLM 前瞻假设推理评估

University of Chinese Academy of Sciences · Institute of Software, Chinese Academy of Sciences · Alibaba Group

提出前瞻假设发现任务与HypoArena基准，评测LLM在证据不足下自主构建可检验假设空间的能力。

📌 工作参考价值（4 点）

Agent 的异常诊断与归因：在电商/广告系统中，当指标异常（如CTR突降）时，可借鉴 PHD 框架让 Agent 先自动生成多层次假设（模型更新、流量变化、A/B 实验干扰等），再调用工具验证，提升诊断效率和覆盖率。
假设空间构建与评估方法：HypoEval 的双向 pairwise + Bradley-Terry 排序和六维评分，可直接迁移到 Agent 输出的候选方案对比（如推荐策略多选项评估），用竞技场模式仲裁更符合实际决策场景。
数据逆向构造方法：Retrospective Context Regression 可从已完成的分析报告中剥离结论与因果归因，生成前结论状态的训练样本，用于微调业务 Agent 的假设生成能力，解决“事后诸葛亮”的数据偏差。
结构化技巧的权衡：论文发现结构化分析技巧对弱模型有提升但可能损害强模型，提示在 Agent 中引入思维链等技巧需做模型层级的自适应，避免一刀切破坏原有推理优势。

Reasoning | 2026-07-17 | cs.CL | score 6/10